home *** CD-ROM | disk | FTP | other *** search
/ ftp.cs.arizona.edu / ftp.cs.arizona.edu.tar / ftp.cs.arizona.edu / icon / newsgrp / group94a.txt / 000137_icon-group-sender _Mon May 23 10:24:05 1994.msg < prev    next >
Internet Message Format  |  1994-08-19  |  937b
  1. Received: by cheltenham.cs.arizona.edu; Mon, 23 May 1994 09:39:33 MST
  2. Message-Id: <199405231424.AA17553@optima.cs.arizona.edu>
  3. Date: Mon, 23 May 94 10:24:05 -0400
  4. From: Mark Keil <keil@ch.hp.com>
  5. To: icon-group@cs.arizona.edu
  6. Subject: Japanese text processing & Japanese word counting?
  7. Reply-To: keil@ch.hp.com
  8. Status: RO
  9. Errors-To: icon-group-errors@cs.arizona.edu
  10.  
  11. Folks:
  12.  
  13.  Has anyone out there used Icon to process japanese text?
  14.  I'm looking for pointers or code to handle JIS or EUC encoded
  15.  japanese text with Icon.
  16.  
  17.  This is an interesting problem, because regular ascii can be
  18.  intermixed with two byte encoded Japanese text. There are several
  19.  different ways to encode the japanese, one of which uses shift-in
  20.  shift-out (shift JIS) codes to mark the transition. Japanese text
  21.  also doesn't have spaces to seperate the words, making word detection
  22.  interesting.
  23.  
  24.  Anybody have any ideas?
  25.  
  26. Thanks, Mark
  27.